Ông sinh năm 1818 tại thành phố Moskva,[8][24] là con của Đại vương công Nga Nikolai và Công chúa Alexandra Fyodorovna - con gái Friedrich Wilhelm III của Phổ và Louise của Mecklenburg-Strelitz. Trước khi cưới Đại vương công Nikolai và theo Chính Thống giáo Đông phương, công chúa Fyodorovna có tên là Charlotte, còn Nikolai thì trở thành Nga hoàng năm 1825.[6] Thiếu thời, ông đã bộc lộ chút ít tiềm năng cơ bản của mình; đến khi ông lên ngôi năm 1855, tuổi 37, một số người cho rằng hậu thế sẽ xem Aleksandr là một ông vua có khả năng thực hiện những cải cách mang tính thử thách nhất trong lịch sử Nga, kể từ thời vua Pyotr Đại đế (1682 - 1725).

Việc giáo dục vị Nga hoàng tương lai được thực hiện dưới sự giám sát của một nhà thơ lãng mạn theo xu hướng tự do, đồng thời cũng là một dịch giả tài ba tên là Vasily Andreyevich Zhukovsky[5], cùng với M. M. Speransky và E. F. Kankrin.[25] Ông được dạy kỹ một vốn kiến thức nông cạn trong rất nhiều môn học, và trở nên rành rọt những ngôn ngữ tiêu biểu ở châu Âu thời hiện đại. Các thầy cho rằng Thái tử Aleksandr là người có thiện ý, hòa đồng, rất giỏi môn khoa học nhưng có thói dễ lùi bước trước khó khăn.[25] Cả thầy Zhukovsky và vua cha Nikolai I đều cố gắng truyền ảnh hưởng vào con người Aleksandr. Năm xưa, bác của ông là Aleksandr I - được giáo dục bởi một ông thầy học theo Jean-Jacques Rousseau và có tư tưởng Cộng hòa người Thụy Sĩ - từng là vị hoàng đế có tư tưởng tự do, hoặc là một người chuyên quyền theo Chủ nghĩa nhân đạo ở một mức độ nào đó, nay Aleksandr cũng vậy.[6]

Thuở bé, Aleksandr đã tỏ ra yêu thích những hoạt động quân sự, chẳng hạn như những cuộc duyệt binh hoặc những trò chơi chiến sự.[26] Sau này ông đã trở thành sĩ quan chỉ huy của đội vệ binh. Kể từ khi Aleksandr được tấn phong làm Hoàng thái tử, ông trở thành Hiệu trưởng của một trường quân sự tại Nga. Khác với vua cha, ông không yêu thích quân đội Nga thời bấy giờ. Có người cho rằng ảnh hưởng từ thầy Zhukovsky đã khiến ông không có thiện cảm với quân đội Nga.[27] Các sử gia về sau đã phát hiện rằng ông không có hứng với việc quân sự, và có lẽ đây chỉ là phản ứng của ông đối với thất bại của Hoàng gia Nga trong cuộc Chiến tranh Krym, và đối với những hậu quả mà đất nước phải gánh chịu trong cuộc chiến tranh tàn khốc này. Thái tử Aleksandr đã thực hiện một chuyến hành trình sáu tháng, thăm viếng 20 tỉnh trên khắp nước Nga[28], một việc làm khác thường trong thời kỳ này. Ông cũng thăm viếng nhiều quốc gia giàu mạnh ở Tây Âu.[29] Ông trở thành Thái tử nhà Romanov đầu tiên đến thăm Xibia.[30]

Ngày 2 tháng 3 năm 1855, Nga hoàng Nikolai I lâm bệnh mất, trong lúc chiến tranh Krym còn tiếp diễn. Theo đạo luật về quyền thừa kế ngôi Hoàng đế (ban hành năm 1797),[8] hoàng thái tử Aleksandr lên nối ngôi ở tuổi 36,[6] tức là Hoàng đế Aleksandr II của Nga. Ngày 26 tháng 8 năm 1856, ông làm lễ đăng quang tại Đại giáo đường Uspensky (Cái chết của Đức Mẹ Đồng trinh) ở điện Kremlin (Cẩm Linh).[31]